进化语义索引用于生成式检索
🧭 生成式推荐 · 语义索引进化 ★ 深度解读
Santa Clara University · Coupang
用 LLM 进化搜索自动优化生成式检索的语义索引，以 1M 参数 proxy 加速评估，在多个数据集显著提升召回率
📌 工作参考价值（4 点）
- 用小 proxy 模型做快速评估：训练 1M 参数的 GPT-2 只需 20 分钟，替代 1B 目标生成器 5 小时，单次评估成本降低 15×。在电商场景中，若目标生成器训练周期以周计，可以用小模型先过滤候选 SID/索引方案，大幅节省试错成本。
- 联合优化 SID 构建与冲突处理：联合进化比单独进化 SID 或冲突处理提升更显著（NQ R@100 +4.75 vs +1.58），提示在实际生成式推荐系统中，应把语义 token 的分组方式和同组内 disambiguation token 作为整体设计，而不是固定一个再调另一个。
- 使用可执行程序搜索自动发现索引规则：让 LLM 直接突变 SID 构建代码（如残差量化的距离度量、codebook 大小、是否加入 query 对齐损失），可以自动发现非手工设计的有效策略，例如 max-cosine 残差分配、doc+query 混合向量等，适合业务中探索 semantic ID 生成策略。
- 注意 proxy 转移性的边界：代理评估对语义索引有效，但对训练目标等跨尺度不稳健。在业务上，如果要用小模型代理大模型评估，需要先在小范围校准代理与目标的秩相关性，并区分“改输入/索引”还是“改优化器/损失”，后者要谨慎使用代理。
组件感知反馈驱动的自进化程序
🧭 LLM 程序进化 · 组件级归因反馈 ★ 深度解读
Santa Clara University
对进化搜索中的每次代码变更做组件级归因并写入记忆，让 LLM mutator 在重排任务上收敛更快、效果更好
📌 工作参考价值（4 点）
- 在 LLM-guided evolutionary search 或自动优化 pipeline 中，不要只给 mutator 看完整代码和总分；把每次 mutation 的组件 diff（新增/删除/修改的函数、常量）与 evaluator 返回的 metric 变化组成 (component_set, delta_metrics) 记录，显式注入 prompt，能显著减少 LLM 从长上下文推断编辑效果的负担。
- 双参考帧设计值得复用：local frame（child vs parent）回答“上一步有没有用”，global frame（child vs seed）回答“整条 lineage 是否值得继续”。在搜索停滞时调用 global frame，可帮助 mutator 换策略而不是在局部瞎试。
- 多目标优化目标函数可借鉴：将质量项和成本项分别对 seed 归一化，加一个小的 λ 项和 min(a,b) 项，既能同时优化质量和 token 成本，又避免搜索只玩一个维度。电商重排/广告出价等成本敏感场景可以直接套用。
- 本地可服务模型（如 Qwen3.6-35B-A3B）就够用，不依赖 frontier LLM；组件级归因反馈提高了样本效率和跨域泛化，对线上持续自动调参/调 pipeline 有直接工程价值。
自组织智能体团队学会协同推理
🧭 多智能体协作策略学习 ★ 深度解读
Stanford University · Together AI · Emory University
固定智能体团队从历史协作中学习可迁移的团队协作策略，无需预设任务分解即能超越最强成员与路由上限。
📌 工作参考价值（4 点）
- 多 agent 协作流程（roles/phases/information flow）可作为可学习资产，用小型训练集通过进化搜索离线优化；冻结策略 bank 在线复用，避免 test-time 动态规划，降低延迟与成本，适合搜索推荐中的多模型融合、query 理解或排序后 rerank 流水线。
- 引入“路由 oracle”作为强 baseline：只聚合成员独立回答且完美选择的上限，能区分团队增益是来自选择还是真正协同推理。业务中评估多 agent 系统时，应同时报告 coverage 与 final accuracy，定位瓶颈在生成还是选择。
- “demonstrability”指标（外部模型判断正确推理的可辨识度）与团队增益高度相关，可用于预判哪些任务适合多 agent 协作；在电商场景可用来识别需要多模型会诊的高价值 query 或商品。
- 异构模型组合（强推理 + 校对/审计 + 多样化生成）比同构团队或单模型线性化更有效；具体 trick：将某成员观察到的优势转化为显式角色（如 auditor），并让该角色只在特定 phase 参与，保留多样性的同时隔离错误。
Meta^n：通过涌现深度实现递归自我改进
🧭 递归元认知 Agent 自我改进
University of Minnesota · Seoul National University
固定元操作 Ω 并递归应用于输入，实现可收敛深度的 LLM 自我改进，在 ARC-AGI-2 唯一得正分
📌 工作参考价值（4 点）
- 可将固定元操作递归应用到多阶段推荐/搜索流水线：每层读取下层 trace 与代码，输出下一层的预处理策略和可复用 helper 库，把隐式流程知识显式化为工具和策略，便于在 query 改写、召回排序等环节复用。
- 深度由收敛决定而非预先固定，可在 Agent 规划或 query 改写中引入自评收敛，减少无效迭代；结合进化 archive 搜索层链，可迁移为对多策略组合的进化选择，适用于搜索广告出价、文案生成等场景。
- 层间 conditioning 是主要收益：把上一层的完整推理 trace 和生成代码作为下一层上下文，比仅传最终答案更有效，建议在 LLM 推理管道中传递过程性知识而非仅结果。
- 主要是通用推理 Agent 贡献，业务落地需谨慎：任务为 ARC-AGI 等通用推理，与电商推荐数据分布差异大，但固定操作+递归输入的设计可借鉴到多智能体系统的自我改进循环，避免自编辑导致的不稳定。
Frontis-MA1：面向递归自我改进的机器学习工程训练
🧭 AI4AI 自动化机器学习工程 ★ 深度解读
Horizon Research · Frontis.AI · Tsinghua University
通过执行反馈训练 Draft/Improve/Debug/Crossover 原子算子并组合长程进化搜索，在有限 GPU 预算下将 MLE-Bench Lite 奖牌率从 39% 提升至 71%
📌 工作参考价值（4 点）
- 原子算子训练 + 进化搜索范式：将复杂任务（如推荐模型自动调参、特征工程）拆解为 Draft/Improve/Debug/Crossover 四种原子操作，用执行反馈训练这些操作，再通过 OpenMLE-Evo 组合成长程搜索，可直接迁移至 AutoML 或 Agent 自动优化推荐 pipeline 的场景。
- 执行反馈 RL 的自适应奖励设计：使用自适应上下界和熵优势（entropic advantage）将学习信号集中于高质量解，而非仅奖励有效解。在推荐策略搜索或 SQL 生成等可验证任务中，可避免模型产生“能跑但性能差”的结果。
- 结构化经验与父代选择策略：通过结构化经验卡（score/improvement/novelty）进行父代选择，兼顾解的质量、改进幅度和方向新颖性；操作触发式记忆合成避免上下文膨胀。这些可直接用于 Agent 搜索推荐组合空间、模型结构搜索等需要平衡探索与利用的任务。
- 预算自适应的监督数据收集：SFT 阶段每任务设执行预算和接受配额，提前终停止艰难任务，节省计算开销。在标注昂贵或执行成本高的推荐场景（如在线实验）中，可高效获得高质量训练数据。
进化微调：跨越371个优化任务的学习发现
🧭 进化搜索LLM Agent · 跨任务迁移
University of Minnesota · Carnegie Mellon University · KAIST · University of Cambridge · Hanyang University
将进化搜索轨迹转为训练数据，让LLM学会跨任务的迭代进化改进能力
📌 工作参考价值（4 点）
- 搜索/推荐场景中的超参调优、召回策略组合优化可借鉴：将历史自动调参轨迹作为训练数据，让 LLM 预测下一步变异方向，减少试错成本。
- Agent 设计可学习“如何改进解决方案”的元能力，而非依赖外部脚手架：将搜索中的成功/失败经验注入模型，使 Agent 在新场景下快速适应。
- 多目标优化（如点击率 vs 多样性）可将帕累托搜索过程构造为轨迹数据集，微调出能直接生成改进策略的模型。
- 工程上，轨迹数据的构造需包含候选解、评分、变异操作、结果反馈，可仿照 Finch Collection 设计领域特定的搜索轨迹格式。
面向多样科学假设搜索的并行回火进化框架
🧭 多样性假设搜索 · 并行回火进化
Georgia Institute of Technology · Virginia Tech · Carnegie Mellon University · University of California, Berkeley · University of Cambridge
用多温度层并行进化与信息交换，在固定验证预算下提升假设质量与多样性
📌 工作参考价值（3 点）
- 多样性保持机制可迁移至生成式推荐：在 Semantic ID 生成或候选集采样时，借鉴多温度并行搜索与信息交换，缓解模式坍塌，产出多样且高质量推荐结果。
- 探索-利用权衡的新思路：多 Agent 协作中，每个 Agent 可对应不同温度，高温度者负责探索，低温度者负责精细利用，定期交换优质种子，既能保持群体多样性又不失收敛效率。
- 固定预算下的采样策略：推荐系统召回阶段常需有限算力生成多个候选池，论文中“采样问题”视角与温度调度方法可直接启发多样性召回的设计，在预算内平衡覆盖率和精度。
SePO：自演进提示代理优化系统提示
🧭 自演进提示代理优化框架 ★ 深度解读
National University of Singapore · City University of Hong Kong
通过自指涉设计，使提示代理在进化搜索中同步优化自身与任务代理的系统提示，突破手工设计瓶颈。
📌 工作参考价值（4 点）
- 动态优化多智能体系统：在电商多智能体（如推荐、客服、运营）中，可引入 SePO 式自演进提示代理，自动迭代各 Agent 的系统提示，替代手工调参，持续适应变化的业务场景。
- 低成本跨任务泛化：预训练-微调两阶段设计，先在多任务池上进化出通用提示优化能力，再快速适配具体推荐任务（如生成式推荐、Query 改写），大幅降低重复优化成本并提升新任务冷启动效果。
- 失败-成功平衡采样避坑：提示优化时按 1:1 同时输入失败与成功案例，避免代理过拟合单一失败模式，这一技巧可直接用于推荐提示词迭代或用户意图理解的 Prompt Engineering 中。
- archive 进化搜索防止早熟：基于存档的开放演进保留历史上性能较好的提示作为“垫脚石”，可借鉴到推荐策略的自动化调优中，防止搜索陷入局部最优。
DEI：异构大模型驱动的分布式质量多样性进化搜索
🧭 分布式进化搜索 · 异构LLM协作 ★ 深度解读
Gensyn
通过异步通信将异构LLM作为变异算子协同进化，在同等算力下实现覆盖率+28%、QD得分+124%。
📌 工作参考价值（4 点）
- 创意生成的多样性互补：在生成式推荐或广告素材生产中，可部署多个异构LLM（如不同家族或规模的模型）作为变异算子，利用各自不同的生成先验覆盖更广的创意空间，提升推荐列表或商品描述的新颖性与覆盖率。
- 异构节点的异步协同：参考其无同步屏障的gossip通信设计，推荐系统可混合使用云端大模型和本地小模型进行候选生成，通过异步共享精英解，低延迟节点无需等待慢节点，提升整体吞吐和多样性。
- 模型多样性的因果验证：实验严格保持总LLM调用预算不变，证明了收益来自模型多样性而非额外算力。这提示在A/B测试或多臂老虎机中，可刻意引入不同模型家族的先验探索不同用户分群，再通过合并archive实现全局最优。
- 多智能体对抗压力引入：在对话推荐或谈判Agent场景中，可让不同LLM Agent扮演推荐者和挑战者，通过类似Red Queen的对抗压力持续提升策略鲁棒性，避免单一模型自博弈的退化。